Designing efficient and labor-saving prosthetic hands requires powerful hand gesture recognition algorithms that can achieve high accuracy with limited complexity and latency. In this context, the paper proposes a compact deep learning framework referred to as the CT-HGR, which employs a vision transformer network to conduct hand gesture recognition using highdensity sEMG (HD-sEMG) signals. The attention mechanism in the proposed model identifies similarities among different data segments with a greater capacity for parallel computations and addresses the memory limitation problems while dealing with inputs of large sequence lengths. CT-HGR can be trained from scratch without any need for transfer learning and can simultaneously extract both temporal and spatial features of HD-sEMG data. Additionally, the CT-HGR framework can perform instantaneous recognition using sEMG image spatially composed from HD-sEMG signals. A variant of the CT-HGR is also designed to incorporate microscopic neural drive information in the form of Motor Unit Spike Trains (MUSTs) extracted from HD-sEMG signals using Blind Source Separation (BSS). This variant is combined with its baseline version via a hybrid architecture to evaluate potentials of fusing macroscopic and microscopic neural drive information. The utilized HD-sEMG dataset involves 128 electrodes that collect the signals related to 65 isometric hand gestures of 20 subjects. The proposed CT-HGR framework is applied to 31.25, 62.5, 125, 250 ms window sizes of the above-mentioned dataset utilizing 32, 64, 128 electrode channels. The average accuracy over all the participants using 32 electrodes and a window size of 31.25 ms is 86.23%, which gradually increases till reaching 91.98% for 128 electrodes and a window size of 250 ms. The CT-HGR achieves accuracy of 89.13% for instantaneous recognition based on a single frame of HD-sEMG image.

目的：本文侧重于开发鲁棒和准确的加工解决方案，用于连续和较低的血压（BP）监测。在这方面，提出了一种基于深入的基于深度学习的框架，用于计算收缩和舒张BP上的低延迟，连续和无校准的上限和下界。方法：称为BP-Net，所提出的框架是一种新型卷积架构，可提供更长的有效内存，同时实现偶然拨号卷积和残留连接的卓越性能。利用深度学习的实际潜力在提取内在特征（深度特征）并增强长期稳健性，BP-Net使用原始的心电图（ECG）和光电觉体图（PPG）信号而无需提取任何形式的手工制作功能在现有解决方案中很常见。结果：通过利用最近文献中使用的数据集未统一和正确定义的事实，基准数据集由来自PhysoioNet获得的模拟I和MIMIC-III数据库构建。所提出的BP-Net是基于该基准数据集进行评估，展示了有希望的性能并显示出优异的普遍能力。结论：提出的BP-NET架构比规范复发网络更准确，增强了BP估计任务的长期鲁棒性。意义：建议的BP-NET架构解决了现有的BP估计解决方案的关键缺点，即，严重依赖于提取手工制作的特征，例如脉冲到达时间（PAT），以及;缺乏稳健性。最后，构造的BP-Net DataSet提供了一个统一的基础，用于评估和比较基于深度学习的BP估计算法。

由于Covid-19大流行，对远程学习/工作和远程医疗对电信的需求显着增加。 6G网络中的移动边缘缓存（MEC）已被发展为一种有效的解决方案，以满足全球移动数据流量的现象增长，使多媒体内容更接近用户。虽然MEC网络使能的大规模连接将显着提高通信质量，但未来有几个关键挑战。边缘节点的有限存储，大尺寸的多媒体内容以及时变用户的偏好使得能够有效地和动态地预测内容的普及，以存储在被请求之前存储最多即将到来的请求的。深度神经网络（DNN）的最新进展绘制了很多研究，以预测主动缓存方案中的内容普及。然而，在此上下文中存在的现有DNN模型遭受Longterm依赖关系，计算复杂性和不适合并行计算的不适合性。为了解决这些挑战，我们提出了一个边缘缓存框架，其与关注的视觉变压器（VIV）神经网络引入，称为基于变压器的边缘（TEGED）缓存，这是我们所知的最佳知识，正在研究第一次。此外，TEGECACH CACHING框架不需要数据预处理和附加的上下文信息。仿真结果与其对应物相比，证实了提出的TEGECACHING框架的有效性。

Real-world applications often require learning continuously from a stream of data under ever-changing conditions. When trying to learn from such non-stationary data, deep neural networks (DNNs) undergo catastrophic forgetting of previously learned information. Among the common approaches to avoid catastrophic forgetting, rehearsal-based methods have proven effective. However, they are still prone to forgetting due to task-interference as all parameters respond to all tasks. To counter this, we take inspiration from sparse coding in the brain and introduce dynamic modularity and sparsity (Dynamos) for rehearsal-based general continual learning. In this setup, the DNN learns to respond to stimuli by activating relevant subsets of neurons. We demonstrate the effectiveness of Dynamos on multiple datasets under challenging continual learning evaluation protocols. Finally, we show that our method learns representations that are modular and specialized, while maintaining reusability by activating subsets of neurons with overlaps corresponding to the similarity of stimuli.

The recent breakthroughs in machine learning (ML) and deep learning (DL) have enabled many new capabilities across plenty of application domains. While most existing machine learning models require large memory and computing power, efforts have been made to deploy some models on resource-constrained devices as well. There are several systems that perform inference on the device, while direct training on the device still remains a challenge. On-device training, however, is attracting more and more interest because: (1) it enables training models on local data without needing to share data over the cloud, thus enabling privacy preserving computation by design; (2) models can be refined on devices to provide personalized services and cope with model drift in order to adapt to the changes of the real-world environment; and (3) it enables the deployment of models in remote, hardly accessible locations or places without stable internet connectivity. We summarize and analyze the-state-of-art systems research to provide the first survey of on-device training from a systems perspective.

深神网络的对象探测器正在不断发展，并用于多种应用程序，每个应用程序都有自己的要求集。尽管关键安全应用需要高准确性和可靠性，但低延迟任务需要资源和节能网络。不断提出了实时探测器，在高影响现实世界中是必需的，但是它们过分强调了准确性和速度的提高，而其他功能（例如多功能性，鲁棒性，资源和能源效率）则被省略。现有网络的参考基准不存在，设计新网络的标准评估指南也不存在，从而导致比较模棱两可和不一致的比较。因此，我们对广泛的数据集进行了多个实时探测器（基于锚点，关键器和变压器）的全面研究，并报告了一系列广泛指标的结果。我们还研究了变量，例如图像大小，锚固尺寸，置信阈值和架构层对整体性能的影响。我们分析了检测网络的鲁棒性，以防止分配变化，自然腐败和对抗性攻击。此外，我们提供了校准分析来评估预测的可靠性。最后，为了强调现实世界的影响，我们对自动驾驶和医疗保健应用进行了两个独特的案例研究。为了进一步衡量关键实时应用程序中网络的能力，我们报告了在Edge设备上部署检测网络后的性能。我们广泛的实证研究可以作为工业界对现有网络做出明智选择的指南。我们还希望激发研究社区的设计和评估网络的新方向，该网络着重于更大而整体的概述，以实现深远的影响。

通过共享编码器和解码器而不是仅共享编码器，对密集预测任务的多任务学习提供了一种有吸引力的方面，以提高准确性和计算效率。当任务相似时，共享解码器将作为额外的归纳偏见，为任务提供更多的互补信息的空间。但是，增加的共享暴露于任务干扰的更多参数，这可能会阻碍概括和稳健性。在利用共享解码器的归纳偏见的同时，遏制这种干扰的有效方法仍然是一个公开挑战。为了应对这一挑战，我们建议进行渐进解码器融合（PDF），以根据任务间表示相似性逐步组合任务解码器。我们表明，此过程导致了一个多任务网络，具有更好地概括为分配和分布数据以及对对抗性攻击的鲁棒性。此外，我们观察到，该多任务网络的不同任务的预测彼此更加一致。

场景变化检测（SCD）是一项关键的感知任务，通过比较在不同时间捕获的场景来确定变化。 SCD由于嘈杂的照明，季节性变化和两次观点的透视差异而具有挑战性。基于深度神经网络的解决方案需要大量的注释数据，这些数据乏味而昂贵。另一方面，从大型数据集中传输学习会导致域移动。为了应对这些挑战，我们提出了一种新颖的\ textit {差异自我监督预审（DSP）}方法，该方法使用特征差异来学习与变化区域相对应的歧视性表示，同时通过跨视图来实现时间不变性来解决嘈杂的变化。我们对SCD数据集的实验结果证明了我们方法的有效性，特别是在摄像机观点和照明条件下的差异。与使用超过一百万个标记的图像的自我监督的Barlow双胞胎和标准图像预处理相比，DSP可以超过它而无需使用任何其他数据。我们的结果还证明了DSP对自然腐败，分配转移和学习有限的数据的鲁棒性。

深度学习的进步已导致计算机视觉的稳定进步，并提高了对象检测和语义细分等任务的准确性。然而，深度神经网络容易受到对抗攻击的影响，因此在可靠的部署中提出了挑战。 3D场景对机器人技术和高级驱动辅助系统的理解中的两个突出任务是单眼的深度和姿势估计，通常以无监督的方式一起学习。尽管存在评估对抗性攻击对单眼深度估计的影响的研究，但缺乏对对抗性扰动对姿势估计的系统性证明和分析。我们展示了加性不可感知的扰动不仅可以改变预测以增加轨迹漂移，还可以改变其几何形状。我们还研究了针对单眼深度和姿势估计网络的对抗性扰动之间的关系，以及将扰动转移到具有不同架构和损失的其他网络之间的关系。我们的实验表明，生成的扰动如何导致相对旋转和翻译预测的显着错误以及阐明网络的漏洞。

对非平稳数据流的持续学习（CL）仍然是深层神经网络（DNN）的长期挑战之一，因为它们容易出现灾难性的遗忘。 CL模型可以从自我监督的预训练中受益，因为它可以学习更具概括性的任务不可能的功能。但是，随着任务序列的长度的增加，自我监督的预训练的影响会减少。此外，域前训练数据分布和任务分布之间的域转移降低了学习表示的普遍性。为了解决这些局限性，我们建议任务不可知代表合并（TARC），这是CL的两阶段培训范式，它交织了任务 - 诺斯局和特定于任务的学习，从而自欺欺人的培训，然后为每个任务进行监督学习。为了进一步限制在自我监督阶段的偏差，我们在监督阶段采用了任务不可屈服的辅助损失。我们表明，我们的培训范式可以轻松地添加到基于内存或正则化的方法中，并在更具挑战性的CL设置中提供一致的性能增长。我们进一步表明，它导致更健壮和校准的模型。